Ông sinh ngày 4 tháng 6 năm 1947, quê tại xã Quảng Thái huyện Quảng Xương, tỉnh Thanh Hóa.

Năm 1965, ông gia nhập lực lượng Thanh niên Xung phong phục vụ chiến trường. Ông được kết nạp Đảng Cộng sản Việt Nam ngày 6 tháng 2 năm 1967, chính thức ngày 6 tháng 2 năm 1968. Đầu những năm 1970, ông được rút về và cử đi học tại trường Tuyên huấn Trung ương chuyên ngành triết học. Sau tốt nghiệp, ông được giữ lại làm trợ giảng Khoa Triết học. Trong thời gian làm trợ giảng, ông đăng ký học thêm và Cử nhân ngành Toán, Đại học Tổng hợp Hà Nội.

Đầu những năm 1980, ông được cử làm nghiên cứu sinh, chuyên ngành triết học tại Viện hàn lâm Khoa học xã hội tại Liên Xô, bảo vệ thành công luận văn Tiến sĩ. Sau khi tốt nghiệp, ông trở về nước và được bổ nhiệm làm Phó trưởng khoa Triết học, Đại học Tổng hợp Hà Nội.

Đầu những năm 1990, ông được bầu giữ chức Giám đốc trường Tuyên huấn Trung ương (nay là Học viện Báo chí và Tuyên truyền). Thời gian này ông được Nhà nước Việt Nam phong tặng danh hiệu Nhà giáo Ưu tú, học hàm Phó giáo sư Triết học.

Năm 1996, ông được bổ nhiệm giữ chức Phó Giám đốc Học viện Chính trị - Hành chính Quốc gia Hồ Chí Minh.

Tại Đại hội đại biểu toàn quốc lần thứ VIII (tháng 6 năm 1996), ông được bầu vào Ban Chấp hành Trung ương Đảng, được phân công làm Phó Giám đốc Thường trực Học viện Chính trị - Hành chính Quốc gia Hồ Chí Minh.

Cuối năm 1999, ông được Bộ Chính trị bổ nhiệm làm Bí thư Thành ủy Hải Phòng, Bí thư Đảng ủy quân sự thành phố Hải Phòng.

Tại Đại hội đại biểu toàn quốc lần thứ IX (tháng 4 năm 2001), ông tái đắc cử vào Ban Chấp hành Trung ương Đảng.

Đến năm 2003, ông được điều động trở lại làm Phó Giám đốc Thường trực Học viện Chính trị - Hành chính Quốc gia Hồ Chí Minh.

Cuối năm 2004, ông được bổ nhiệm làm Giám đốc Học viện Chính trị - Hành chính Quốc gia Hồ Chí Minh, Bí thư Đảng ủy Học viện.

Ngày 25 tháng 4 năm 2006, tại Đại hội đại biểu toàn quốc lần thứ X, ông tiếp tục tái đắc cử vào Ban Chấp hành Trung ương, được bầu vào Ban Bí thư Trung ương Đảng.

Ngày 1 tháng 5 năm 2006, ông được phân công làm Trưởng Ban Tư tưởng-Văn hoá Trung ương Đảng Cộng sản Việt Nam.

Ngày 8 tháng 5 năm 2007, ông được phân công làm Chủ tịch Hội đồng Lý luận Trung ương, Trưởng Ban Tuyên giáo Trung ương Đảng Cộng sản Việt Nam[1].

Tại cuộc bầu cử Quốc hội khoá XII, ông được bầu làm Đại biểu Quốc hội Tỉnh Thanh Hóa.

Ngày 13 tháng 01 năm 2009, tại Hội nghị lần thứ 9 Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa X, ông được bầu bổ sung vào Bộ chính trị.[1]

Ngày 19 tháng 01 năm 2011, Tại Đại hội Đảng Cộng sản Việt Nam XI, ông một lần nữa tái đắc cử vào Bộ Chính trị, Ban Bí thư Trung ương Đảng.

Ngày 7 tháng 2 năm 2011 ông được bổ nhiệm làm Trưởng ban Tổ chức Trung ương Đảng Cộng sản Việt Nam.

Tại cuộc bầu cử Quốc hội khoá XIII ông được bầu làm Đại biểu Quốc hội Tỉnh Bắc Ninh.

Tại Đại hội đại biểu toàn quốc lần thứ XII ông nghỉ hưu.

Ngày 11/03/2016, Giám đốc Đại học Quốc gia Hà Nội đã ban hành quyết định số 986/QĐ-ĐHQGHN công nhận ông Tô Huy Rứa, Phó giáo sư, tiến sĩ, nguyên Ủy viên Bộ Chính trị, Bí thư Trung ương Đảng, Trưởng Ban Tổ chức Trung ương là Hiệu trưởng danh dự Trường Đại học Việt Nhật thuộc ĐHQGHN.

Ngày 29/4/2016, Đại học Quốc gia Hà Nội đã long trọng tổ chức Lễ công bố các Quyết định bổ nhiệm, công nhận lãnh đạo Trường ĐH Việt Nhật - ĐHQGHN. Theo đó, ông Tô Huy Rứa - nguyên Ủy viên Bộ Chính trị, Bí thư Trung ương Đảng, Trưởng Ban Tổ chức Trung ương là Hiệu trưởng danh dự Trường ĐH Việt Nhật.